【創新科技】IVE畢業生開發即時手語翻譯軟件 打破聽障健聽隔膜

社會

發布時間: 2021/05/17 00:00

分享:

分享:

IVE軟件工程高級文憑畢業生温子軒(右)及2名同學一同研發實時手語翻譯軟件「SignChat」。(VTC提供圖片)

聽障人士之間溝通多靠手語,但對於未學過手語的健聽人士,這些手勢就像是密碼一樣,難以與聽障人士溝通。有香港專業教育學院(IVE)畢業生開發了實時翻譯手語的手機應用程式,籍由人工智能等技術,能夠實時將手語轉為文字句子,幫助溝通。

這個能夠實時繙譯手語的應用程式名為「SignChat」,是3名IVE軟件工程高級文憑畢業生的畢業習作,耗費近1年時間開發。團隊成員之一的温子軒表示,小學時候曾經參加合唱團活動,機緣巧合下學會了少許手語,覺得手語挺新鮮,而IVE亦鼓勵學生善用資訊科技協助社會有需要人士,於是團隊想到利用手機程式協助聽障人士和健聽人士溝通,促進社會共融。

學習程式使用立體影像追蹤技術辨識手指、手掌及手腕21個檢測點的動作,配合人工智能學習後,能夠記下不同的手語動作。(VTC提供圖片)

系統分為學習及繙譯兩個程式,學習程式使用立體影像追蹤技術辨識手指、手掌及手腕21個檢測點的動作,配合人工智能學習後,能夠記下不同的手語動作。而翻譯程式則利用自然語言處理技術,如同常用的翻譯工具一樣,將手語所代表的字詞組合成常用詞語,或合文法的通順句子,例如「早上」和「食」的兩個手語動作,能夠譯出「早餐」。

温子軒說,開發過程主要是編寫程式,成本基本為零,但當中最困難的是訓練AI的過程,例如相似手語動作、速度不同都影響AI學習,他們也必須做對的手勢,AI才能學懂對的動作。

負責指導的IVE沙田院校資訊科技系署理高級講師郭譽豪指,程式現時能夠翻譯40至50組詞語,目標是年底前增加到約100組,但他坦言100組詞語不足以即時推出程式,故會先針對部分使用場景,如醫院、交通工具,之後亦會聯絡社福機構試用和驗證程式的可靠度,期望盡快推出市面。

程式利用自然語言處理技術,將手語所代表的字詞組合成常用詞語,或合文法的通順句子。(VTC提供圖片)

已打2劑疫苗滿14天可縮短檢疫期 一文看清不同地區返港人士安排:https://bit.ly/3nXRuSY

實時追蹤香港新冠肺炎確診者住所/出現地點,立即下載經濟日報App:https://bit.ly/2JdOaiS

記者:徐紹軒